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modifies them based on decision criteria established in the data base of rules of an exnert 
system. p 

Applications in makeup artistry, plastic surgery, repair, dermatology, hair styling 
and hair artistry, fitting eyeglasses, security, digital photography, photographic 
retouching, and morphopsychology. 
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AUTOMATIC RECOGNITION OF CHARACTERISTIC FACIAL FEATURES AND 
SIMULATION OF AN ESTHETIC IMAGE FROM A REAL OBJ ECTIVE (FACE) 

This invention concerns a computer system which will automatically simulate an 
esthetic image of a real objective (face) by recognition of characteristic facial features. 

The cosmetic field uses numerous devices for manual design and color 
manipulation. These devices make it possible to modify the initial image of a face and to 
manually deduce a perfectly esthetic image of it. However, Jiiis procedure is always slow 
and is sometimes unpredictable. 

The present invention pertains to a process and a device permitting the automatic 
esthetic simulation of an initial objective, such as a face, by computer. 

The computer system in question is installed in a cubicle or a console. 
Essentially, it comprises a computer with a 420 MB hard drive, a CD ROM reader, a 
digital photography device, and an expert system, equipped with a data base and run by 
an inference engine, i.e., a powerful deductive system independent of the data base. This 
expert system is class zero plus (0+). 

Therefore, this invention concerns a process and a device permitting automatic 
simulation of an ideal image from a real image of an objective, such as a face, 
characterized in that the real image captured by a digital photographic device in color is 
segmented, then characterized in that the fine characteristic features of this image are 
determined by recognition of forms, textures, and outline, and finally characterized in 
that some of these features are modified as a function of the decision criteria of an expert 
system with a recognition data base enhanced by several thousand combinations and 
harmonies. 



The color image is captured in a few seconds with an ION digital photographic 
device or with a video camera with its digital acquisition card, under appropriate lighting 
with spotlights. From this segmented image, the process and device of the invention will 
simulate the ideal esthetic image. 

The process consists essentially of three phases: 

-An acquisition phase: the forms and outlines of a digitized photographic image 
are analyzed and recognized with die use of techniques-based on deductive logic 

-A transformation phase leading to the modification of the fine characteristic 
features of the i nitial image based on decision criteria in a data base of rules of the expert 
system interfaced with segmentation and form recognition tools. 

-A reconstruction phase offering the desired esthetic simulation on a large screen 
and/or on A4 paper. 

During the first phase, the image processing software will coordinate several 
successive operations. 

In the first step, it detects and recognizes outlines. To do this, it uses histograms 
of 256 colors or 256 equivalent shades of gray corresponding to each elementary segment 
of the image. By following two preferred directions (e.g., vertical and horizontal), it 
determines the points where the histograms show discontinuity or where the smallest and 
largest areas are. To make optimum use of the method, we determine the derivatives of 
variance and the average and coefficient of variation of the shades of gray of each image 
line. This is how the image takes shape. For example, these operators can define not only 
the shape of a face, but also the shape of the characteristic features of that face (eyes, 



nose, eyelashes, eyelids, cheekbones, mouth, etc.). Outline tracking robots are used for 

this purpose. 

In this way, objects against a background can be readily isolated. The regions of 
interest in the image are defined. In the present invention, this binary operation can be 
carried om automatically by looking for the smallest points of the histograms in the 
shades of gray following the preferred directions. 

The second step following form recognition is recSgnition and analysis of skin 
textures. 

Specifically, the degree of entropy of the skin's texture is evaluated; this takes 
into account the degree of organization or disorder of the tissue as well as the presence or 
absence of spatially repeated motifs. 

It is also possible to pick up the presence of cutaneous dislocations corresponding 
to scars and rosacea, which may appear on the image. 

Finally, this first phase comprises determination of the structural effects, which 
includes a more general evaluation of the degree of homeomorphism of tissues, 
symmetry of the image, and particularly degree of orthogonal symmetry when the object 
examined is a face (chilarity). 

In all these processes, the quality of the image can be improved by elimination or 
attenuation of noise. 

Noise corresponds to random fluctuations and parasitic information, particularly 
caused by lighting. 

These noises arc present in the form of pixels isolated from pixels in the 
neighborhood. In addition, these isolated pixels are not spatially correlated. 



These noises can be eliminated : 

-on the one hand, by "erosion," which eliminates the points outside the shape (for 
example, elimination of points on a white background) 

-on the other hand, by "dilation," which makes it possible to eliminate the "holes" 
that appear in the shapes. 

These transformations may be contextual, i.e., the parameters of the operators 
may vary as a function of the environment or of a position in relation to the framework of 
the image or in relation to previously detected characteristic shapes. 

These noises can be attenuated by using filters on the image. 

The filters are classified into two categories: 

1. Integration filters, which attenuate noise 

2. Differentiation filters, which reinforce contrast. 

As needed, these filters are applied locally or to the entire image, and they might 
have to account for the local context of the image by taking into account its statistical 
properties. 

As needed, these filters are used for binary operations in shades of gray, or they 
may operate in 256 colors. Tn all cases, the application of these filters requires effective 
management of intermediate caches. 

During transformation of the original image, the process determines the gender of 
the face (male or female), and determines whether it is a child, adolescent, adult, or 



elderly person. H then makes esthetic changes based on its program. Some peculiar 

characteristics of the initial face are improved. 

Thus, for example, small wrinkles, dark circles, crows' feet, blotches, acne, and 

rosacea arc softened considerably. More generally, the characteristic features of the face 

are modified based on decisions of the expert system. 

During this transformation phase, the software analyzes the dominant colors that 

appear in The various regions of the face (color of the lips, eyes, and dominant shade of 
the skin, etc.) and, if necessary, makes cosmetic improvements. If the data necessary for 
inferences of the expert system are incomplete or uncertain, the use of fuzzy logic makes 
it possible to weight the premises of the rules and the rules themselves so that inferences 
can be made even in the presence of incomplete or imprecise data. In this way, cosmetic 
choices can be made even in the absence of exact data. 

During the decision phase, this esthetic image wearing make-up will be present as 
the simulation of the ideal image. 

The reconstruction phase is expressed first as the display, in 256 colors, on the 
high-definition color screen, of the progressively transforaied image, then as the printing 
of a photograph in 256 shades of gray with a laser or ink-jet printer on A4 paper, and by 
the text of the information sheet "beauty care or passport to beauty." When the process is 
applied to the face, each part of the face that has been enhanced is documented by 
scientific and esthetic commentary with the description of the product to be used. 
Finally, a second photograph is printed in 156 colors on A4 a few minutes later with a 
heat sublimation, laser, or ink-jet printer incorporated into the unit, revealing the 
subject's new simulated face. 



The simulated image and the corresponding information are recorded by a digital 
optica] scanner that is part of the unit. The care instruction sheet and the final color 
photograph are printed up in the customer's presence. 

When the process is applied to the human face, the expert system can simulate 
different make-up styles as needed. 

Thus it is possible to create make-up suitable for a party, an evening out, the 
workplace, or even allay at the beach, etc. 

The expert system can simulate and check the effects of a skin care program, if 

needed. 

The process used in this invention can be better understood with reference to the 
description of a simplified example pertaining to a female face shown in 4 figures, in 
which: 

Figure! represents the image of a female face to be modified 
Figure_2 represents a photograph of the same face computerized in 256 shades of 
gray or in 256 colors 

Higyre3 shows in dark gray the portions of the image undergoing a first treatment 

Figure_4 represents the face as modified by the process of this invention, 
registered under the name MAGIC LIGHT. 

Figurcl is the image of a female face to be modified. To digitize this image, we 
replace it with another image obtained by the 256-color digital camera. 

Figure2 represents the image of this female face obtained digitally, made up of 
elementary segments, each characterized by a histogram specifying, for this elementary 
segment, the level of each of the 256 colors. 



The forms of this face can then be analyzed and recognized. Two preferred 
directions are then chosen, such as the straight lines (V) and (H) of Figure (3). 

Following these preferred directions, we determine the points such as (V; HI ) 
where the histograms show discontinuity corresponding to the edge of the hair casting a 
shadow on the face. We also find all the points such as (VI ; H2) or (VI ; H5) where the 
histograms pass through the smallest areas. 

When the lines V ancLH are moved along the image of the face, this defines the 
continuous lines representing the shape of the various elements of the face. 

Skin textures can now be recognized and analyzed by anexamination of the 
histograms of the points picked up in directions such as H2, H3> ... H7. 

After we have determined the forms and the nature of the skin textures of this 
image, we can go on to the transformation phase. The software will then analyze the 
dominant colors that show up in certain parts of the face. In this case, the software 
analyzes the color of the eyes, the eyelashes, the eyelids, the eyebrows, and then the color 
of the lips. These extracts are then modified based on the decision of the expert system. 

Figure 3 illustrates these operations. Having defined the elements to be modified 
(eyelids, eyelashes, eyebrows) we then extract the outlines of these elements so that they 
appear in dark gray or white on the image. Then all the pixels of these zones are entered 
into the memory to modify their color and create the desired make-up. 

Figure 4 corresponds to the reconstruction phase, during which the fine 
characteristic features of the initial image have been transformed to yield an esthetic 
image with make-up. 



Thus, we can see that the elements extracted from the image (Figure 3) have been 
replaced by new elements: the eyelids and the base of the eyebrows have been made 
lighter and outlined in blue; the eyelashes have been made up. 

The reconstruction operation has been carried out by modifying the color of the 
lips and their shape. This image reveals the new simulated face to the customer. 

Obviously, this process and this device can be applied to simulation of an esthetic 
image of a face from a simple black-and-white or color photograph. -By using~a high- 
definition scanner to digitize the photograph, we can create photographic portraits of a 
subject using hair styling and make-up techniques to improve the esthetics of the face, to 
soften or correct certain anatomical defects, and to change skin color (tanning). In this 
case, the data base corresponding to esthetic simulation of the face is supplemented by a 
collection of esthetic rules pertaining to make-up, hair styling, hair care techniques, skin 
texture, and/or plastic surgery. This makes it possible to treat the face and the hair of a 
subject simultaneously to produce and reconstruct a new enhanced and ideal image. 

Applications 

It is clear that this system is suitable for multiple applications by enrichment of 
the data base used by the expert system, by the use of the specific data of th e application 
in question. 

Eyeglass fittings 

The optometrist can use the device according to the invention to choose the most 
flattering eyeglass frames or tinted lenses on a face. 
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As this application can be made directly with the system according to the 
invention, application or the technique of eyeglass fitting or application with optical 
instruments can be included directly in the facial processing. 

The data base corresponding to esthetic simulation of the face is supplemented by 
a collection of esthetic rules pertaining to eyeglass frames and optical instruments (tinted 
lenses., etc.), so that it is possible simultaneously to process the face and to try on 
different eyeglass frames adequately or to try various tinted lenses on the face. 

Security 

The system according to the invention permitting certain recognition of a known 
person, can be used to control an opening system. The data based is expanded with 
information corresponding to all the characteristic features of one or more known faces, 
allowing for certain recognition of the face of an authorized person. 

The system according to the invention also permits recognition of a face that is 
partly or totally masked by fabric, and to compare it with a data base of characteristic 
facial features, regardless of its orientation. A system for reconstructing 3D images from 
2D images of unknown orientation allows reconstruction of the facies front and profile. 
Another data base is associated with this one, and it contains individual faces which will 
allow their comparison with the front and profile of the reconstructed facies. 

Digital photography 

When a photograph is taken in a digital photography cubicle, the system 
according to the invention makes it possible to improve the esthetics and enhance the 
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image of a subject. The data base corresponding to the esthetic simulation of the face is 
supplemented by a collection of esthetic rules pertaining to make-up, hair styling, hair 
care techniques, and skin texture, thus permitting simultaneous treatment of the face and 
the hair of a subject to edit photographs to be enhanced for the customer. 

Photograph processing 

The system according to the invention allowsa standard black-and-white or color 
photograph of a subject's face to be retouched and esthetically improved after it is 
scanned by a digitizing device. The data base corresponding to the esthetic simulation of 
the face is supplemented by a collection of esthetic rules pertaining to make-up, hair 
styling, hair care, and skin texture, thus allowing the face and hair of a subject to be 
treated simultaneously to edit enhanced photographs. 

Repair technique 

From the existing anatomy of the body to be treated, it is possible to visualize the 
modifications to be made (elimination of abdominal fat, building of abdominal muscles, 
etc.) such that the data base of the expert system is expanded with rules pertaining to all 
the techniques of physical culture, diets, and various methods of body building. 
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Dermatology 

The use of an expert system for treating a color picture of the skin allows for new 
development by quantifying and qualifying the condition of the skin vising texture 
analysis and color distribution. 

In particular, the system of acquisition and treatment of images associated with an 
expert system makes it possible to create a diagnostic aid and to suggest the nature of the 
treatment to be performed (ointment, etc.). 

The device also allows the dermatologist to assess the course of the disease more 
readily and to observe color changes in pre-cancerous skin lesions, nevi, scar formation, 
decubitus ulcers, vasomotor disorders, conditions affecting the mucosa, etc. 

The data base of the expert system is expanded with information corresponding to 
a number of conditions, accompanied by examples of treatments suggesting the nature of 
the treatment to be offered. 

Plastic surgery 

Aside from the existing anatomy of the body or face to be treated, it is possible to 
visualize the modifications to be made, such as lifting, correcting the shape of the nose, 
transformation of the jawbone, correction of a cleft lip, or correction of saddlebag thighs, 
etc. The data base of the expert system is expanded with rules pertaining to anatomy. 

The software simulates the modifications to be made, as well as the future 
appearance of the face or body part to be treated. 

After healing has occurred, the latter image should be compared to the result 
obtained, to see whether additional corrections are indicated. 
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Hair styling and hair care techniques 

The device according to the invention allows for a more effective esthetic choice 
hy facilitating the placement of different types of hair styles and different hair colors. 
The hair care technique can be directly included in the treatment of the face. 

The data base of the expert system corresponding to esthetic simulation of the 
face is supplemented with a collection of esthetic mles pertaining to hair styling and hain. 
color, allowing the face and hair of a subject to be treated simultaneously. 

Morphopsychology 

The device according to the invention makes it possible to observe and "read" a 
face in detail: the wrinkles and lines, the balance between the upper and lower part, the 
size and shape of the nose, the earlobes and corners of the mouth, etc., to reveal and 
determine the personality of an individual 

This application can be made directly with the system according to the inventioxi. 

The data base of the expert system is expanded with a set of techniques 
corresponding to the observation of faces supplemented with information from 
psychiatrists, psychologists, and anatomists in this field. 
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CLAIMS 

L Process for simulation of an ideal esthetic image from a color digital 
photographic image of a real face, characterized in that, after the image is segmented, in a 
first phase of acquisition, the characteristic fine features of the face and its skin structure 
are determined, then in the transformation phase, the characteristic features of the initial 
image are esthetically improved, and some colors of the skin structure are modified, 
depending on selection criteria, determined by a class zero + expert system, run by an 
inference engine supported by a data base expanded with several thousand combinations 
of forms and color harmonies. 

2. Process according to Claim (1), characterized in that, after the histograms of 
the color shades of the facial segments are determined, the program of the expert system 
recognizes the facial structures by searching in two preferred directions for the areas of 
discontinuity of the histograms of the color shades. 

3. Process according to Claims (1) and (2), characterized in that the recognition 
of the outlines and the image is obtained by analysis of the colors or equivalent shades of 
gray corresponding to each elementary segment of the image, 

4. Device for electronic simulation of an esthetic image according to Claim (1), 
comprising a computer system housed in a cubicle or console, at least one color digital 
photography device with spotlights, a color screen, at least one printer, and an optical 
scanner, characterized in that the computer system which treats the image comprises a 
computer with a hard drive capacity of at least 420 MB, combined with a CD ROM disk 
reader, and in that the color digital photographic devices make it possible to obtain, in a 
first phase, a real digital photograph in 256 colors of the original real image, while the 
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esthetic image transformed by the decision criteria of the zero + expert system is 
displayed on a high-definition color screen. 

5. Devices according to claim (5), characterized in that, after display of the 
transformed image on a color screen, the ink jet printer provides a photograph with 256 
shades of gray, then a second thermal sublimation, ink jet, or laser printer prints a second 
photograph in 256 colors on A4 paper. 

6. Trocess and device for simulating an image according toXlaims (5) and (6), 
applied to plastic surgery, in the form of lifting, correcting the shape of the nose, or 
correcting saddlebag thighs, characterized in that the data base combined with the expert 
system is expanded with rules pertaining to the anatomy and the appropriate surgical 
technique. 
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RECONNAISSANCE AUTOMATIQUE DES TRAITS CARACTERISTIQUES Dti 
VISAGE ET SIMULATION D UNE IMAGE ESTHETIQUE D'UN OBJECTBF 

(VISAGE) REEL 



La presente invention conceme un systeme informatique permettant de simuler 
automaiiquement une image esthetique d'un objectif (visage) reel par la reconnaissance des 
traits caracteristiques du visage. 

On sait qu'il existe dans la cosmetique, un certain nombre d'equipemeats de dessin et de 
coloriage manuels. Ces equipements permettent de modifier ('image initiate dW visage et 
d'en deduire par voie manuelle une image parfaitement esthetique. Mais ce procede est 
toujours lent et parfois aleatoire. 

La presente invention concerne done un procede et un dispositif permettant de reaUser 
automatiquement par voie informatique, la simulation esthetique d*un objectif initial, un 
visage par exemple. 

Le systeme informatique mis en oeuvre est installe dans une cabine ou une console, n 
comporte essentiellement un ordinateur possedant un disque dur de 420 Mo, un lecteur de 
CD ROM, un appareil photographique numerique et un systeme expert, muni d*une base de 
donnees et anime par un moteur d'inference, e'est a dire par un puissant systeme deductif 
independant de la base de donnees. Ce systeme expert utilise est de la classe zero phis (0+). 

La presente invention conceme done un procede et un dispositif permettant de simuler par 
un processus automatique une image ideale, a partir de rimage reelle d'un objectif un visage 
par exemple, caracterisee en ce que rimage reelle capturee par un appareil photographique 
numerique en couleurs est segment ee, puis en ce que Ton determine les traits 
caracteristiques fins de cette image par une reconnaissance de formes, de textures et de 
contour et enfin ce que Ton rnodifie certains de ces traits en foncbon de enter es de decision 
d'un systeme expert dote d'une base de connaissance enrichie de piusieurs milliers de 
comb tnai sons et dTiarmonies 

La capture de rimage en couleurs est obtenue en quelques secondes au moyen d*un appareil 
photographique numerique du type ION ou d\ine camera video avec sa carte ^acquisition 
numerique, sous un eclair age approprie issu de spots lumineux. C'est a partir de cette image, 
segmentee au prealable, que le procede et le dispositif selon I'invention vont permettre de 
simuler I'image esthetique ideal e. 
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Le procede comprend essentiellement trois phases : 

. Une phase d'acquisition : on procede a l'analyse et a la reconnaissance des formes et des 
contours d une image photographique numerisee en mettam en oeuvre des techniques 
caracterisees par le recours d'une logique deductive. 

• Une phase de transformation conduisant a la modification des traits caracteristiques fins 
de fimage initiate en fonction des criteres de decision etablis dans une base de regies du 
systeme expert interface avec les outils de segmentation et de reconnaissance des 

formes. 

. Une phase de restitution offrant sur un grand ecrari et (ou) sur du papier de format A4 
la simulation esthetique recherchee. 

Au cours de la-premiere phase, le logkLel du traitement de I'image va coordonner phisieurs 
operations successives 

Dans un premier temps, il procede a la detection et a la reconnaissance des contours. A 
cette fin, on considcrc les histogrammes des 256 niveaux de couleurs ou des 256 niveaux de 
gris equivalent conespondant a chaque segment eiementaire de I'image. En suivant deux 
directions privilegiees (verticale et horizontale par exemple) il determine les points oil les 
histogrammes subissent une discontinuity ou bien passent par des minima ou des maxima de 
maniere a optimiser la methode on determinera les derivees de la variance, la moyeime et le 
coefficient de variation des niveaux de gris de chaque ligne d'image. On arrive ainsi a 
preciser les formes de I'image. Ainsi par exemple, avec un visage ces operateurs permettent 
de definir non seulement sa forme mais egalement la forme des traits caracteristiques du 
visage (yeux, nez, ciJs, paupieres, pommettes, bouches...). On utilise a cette fin des 
automates suiveurs de contour. 

On peut ainsi isoler facilement les objets par rapport au fond. On delimrte ainsi les regions 
d'interet de I'image Dans le cas present cette binarisation peut etre operee de &?on 
automatique par la recherche des minima des histogrammes des niveaux de gris suivant des 
directions privilegiees. 

• La reconnaissance et Tanalyse des textures cutanees suit dans un deuxieme temps la 
reconnaissance des formes. 

On procede notamment a revaluation du degre d'entropie de la texture de la peau qui tient 
compte de Importance de I'organisation ou du desordre de ce tissu ainsi que de fexistence 
ou de I'absence de motifs sp^tialement repetitifs. 

On releve egalement la presence de dislocations cutanees correspondant a des cicatnces, a 
des traces de couperose, susceptibles d'apparaitre sur 1'image. 

. Cette premiere phase comporte enfin une determination des effets stnxcturaux au cours 
de laqueile on evalue d'une maniere plus generale le degre dTiomeomorphisme des 
tissus, le degre de symetrie de l'image et plus particulierement le degre de symetne 
orthogonale lorsque robjet examine est un visage (chilarite). 

Dans tous ces traitements la qualite de Fimage peut etre amelioree par Felimination ou par 
I'attenuauon des bruits. 
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Les bruits correspondent a des fluctuations aleatoires et a des informations parasites 
provoquees notamment par Teclairage. 

Ces bruits se presentent sous forme de pixels 1 soles des pixels du voisinage. De phis, ces 
pixels isoles ne sont pas spatialement correles. 

On obtient relimination de ces bruits : 

• d'une part, par Terosion" qui permet d'ehminer des points exterieurs aux formes 

(exemple, Telimination de points sur fond blanc). 
. d'autre part, par la "dilatation" qui permet d'eliminer les "trous" apparaissant dans les 

formes. 

Ces transformations peuvent etre aontextuelles, c'est-a-dire que les parametres des 
operateurs sont susceptibles de varier en fonction d*un environnement ou d'une position par 
rapport au-cadre de Timage ou par rapport a des formes caracteristiques prealablement 
d electees. — 

On artenue Timportance de ces bruits en appliquant des filtres sur Timage. 
II y a lieu de classer les filtres en deux categories. 

I Les filtres operateurs ^integration susceptibles d'attenuer les bruits. 
2. Les filtres operateurs de differenciation susceptibles, au contraire, de r enforcer le 
contraste. 

Suivant le cas, ces filtres sont appliques local ement ou globalement sur Timage et ils doivent 
eventuelleraent tenir compte du contexte local de Timage en prenant en compte ses 
proprietes statistiques 

Suivant le cas, ces filtres sont destines a des operations effectuees en binaire en nrveaux de 
gris, soit au contraire a operer en 256 couleurs. Dans tous les cas Tapplication de ces filtres 
demande une gestion efficace des "caches" intermediaires. 

Au cours de la phase de transformation de Timage originale, le procede determine a quel 
sexe appartient le visage (masculin ou feminin), si il est de type enfant, adolescent, aduhe, 
ou vieillard, ensuite apporte des ameliorations de caractere esthetique en fonction de son 
programme de soins Certaines parti cul antes du visage initial sont amdiorees. 
Ainsi, par exemple, les petites rides, les ceraes, les "pattes d'oies", les taches de rousseur, 
Tacne et la couperose sont fort ement estompees D'une fa<?on plus generale, les traits 
caracteristiques du visage sont modifies en fonction de decisions de la base du systeme 
expert. 

Au cours de cette phase de transformation, le logiciel analyse les couleurs dominantes qui 
apparaissent dans les difFerentes regions du visage (couleur des levres, des yeux, teint 
dominant de la peau par exemple etc.) et apporte, si cela s'avere necessaire des 
ameliorations de caractere cosmetique. Dans le cas ou des donnees necessaires aux 
inferences du systeme expert peuvent etre incomplete ou incertaines, I 'utilisation de la 
logique floue permet de ponderer les premisses des regies et les regies eUes-memes de 
manierc a pouvoir inferer tneme en presence de donnees incompletes ou imprecises. Des 
choix cosmetiques pourront etre ainsi eflfectuees meme si on ne dispose pas avec precision 
de routes les donnees necessaires. 
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Au cours de la phase de decision, c'est cette image esthetique et maquillee qui va etre 
presentee comme la simulation de 1'image ideale. 

La phase de restitution se traduit d'abord par I'affichage, en 256 couleurs t sur ecran couleur 
haute definition de I'image progressivement transformee, ensuite par fimpression d*une 
photographie en 256 niveaux de gris grace a une imprimante a jet d'encre ou laser, dans un 
format A4, et par 1'edition de la feuille d'information: "soins et beaute ou passeport beaute" 
Dans Implication du precede au visage, chaque partie du visage qui a subi des soins est 
direct ement renseignee par un commentaire scientifique et esthetique avec ia description du 
produh a utiliser Enfin, fimpression d'une seconde photographie en 256 couleurs de format 
A4 est editee quelques minutes plus tard, grace a une imprimante a sublimation therrruque, 
jet d'encre ou laser, incorporee dans 1'installation, revelant ainsi son nouveau visage simule 
au sujet examine. 

L'iruage simulee et les informations correspondantes-sont enregistre^ au moyen d*un lecteur 
enregistreur de carte optique numerique faisant partie de rinstallation. La feuille de soins et 
la photographie definitive en couleurs sont editees devant la ou le client. 

Toujours dans Implication du procede au visage humain, le systeme expert est en mesure 
de simuler a la demande, des styles de maquillage adaptes aux circonstances. 

On peut ainsi realiser le maquillage le mieux adapte a une fete, une soiree, soit au travail ou 
raeme au sejour au bord de mer etc. 

Le systeme expert est en mesure de simuler a la demande, et de verifier les eflfets (fun 
programme de soins de peau. 

Le procede mis en oeuvre dans la presente invention sera mieux compris en se reportant a la 
description d'un exemple simplifie concernant un visage de femme decrit en reference a 4 
figures dans lesquelles, 

la figure 1 represente I'image d'un visage de femme a modifier. 

La figure 2 represente une photographie du meme visage sous forme informatique en 256 
niveaux de gris ou 256 couleurs. 

la figure 3 fait apparaltre en gris fonce, les portions de I'image soumises a un premier 
traitement. 

La figure 4 represente le visage modifie par le procede de la presente invention, depose 
sous le nom MAGIC LUMEERE 

La figure 1 est I'image du visage de femme a modifier. Pour pouvoir proceder au traitement 
informatique de I'image, on substitue a cette image, une autre image obtenue au moyen 
d'un appareil photographique numerique en 256 couleurs. 

La figure 2 represente I'image de ce visage de femme ainsi obtenu sous forme informatique, 
forme de segments elementaires, caracterise chacun par un histogramme precisant pour ce 
segment elementaire le niveau de chacune des 256 couleurs. 

D est alors possible de proceder a I' analyse et a la reconnaissance des formes de ce visage. 
On choish alors deux directions privilegiees telles que les drortes (V) et (H) de la figure (3). 



5 



2728982 



En suivant ces directions privilegiees, on determine les points tels que (V; HI) oil les. 
histogrammes subissent une discontinuity correspondant a la limite de la cbeveture sombre 
du visage etudie. On revelera egalement tous les points tel que (VI; H2) ou (VI; H5) ou les 
histogrammes passent par des minima. 

En deplagant les lignes V et H le long de l'image du visage, on definit des lignes continues 
representant la forme des differents elements du visage. 

On est alors en mesure de proceder a la reconnaissance et a I 'analyse des textures cutanees 
en examinant par exemple les histogrammes des points releves suivant les directions telles 
que H2, H3,. . H7 

Ayant determine les formes et la nature des textures cutanees de cette image, on est en 
mesure de passer a la phase de transformation. Le logiciel va alors analyser les couleurs 
dominantes qui ont ete miscs en evidence sur certaines parties du visage. Dans ce cas 
present, le logiciel analyscJa couleur des yeux, des cils, des paupieres, des sourcils, puis la 
coloration des levres Ces extraits sont alors modifies en fonction des decisions du systeme 
expert. 

La figure 3 iliustre ces operations Ayant defini les elements a modifier (paupieres, cils, 
sourcils), on procede a I'extraction des contours de ces elements. De sorte que ceux-ci 
apparaissent en gris fonce ou blanc sur rimage. On met done en raemoire tous les pixels de 
ces zones pour modifier leur couleur et realiser le maquillage recherche. 

La figure 4 correspond a la phase de restitution au cours de laqueUe les traits 
caracteristiques fins de l'image initiale ont ete transformes pour dormer une image 
esthetique et maquillee. 

Ainsi, on note que les elements extraits de rimage (figure3) ont ete remplaces par des 
elements nouveaux : les paupieres et la base des sourcils ont ete rendus plus clair et 
soulignes de bleu, les cils ont ete maquilles. 

L'operation de restitution s'est poursuivie en modifiant le rouge des levres et leur contour. 
C'est cette image qui revele son nouveau visage simule a la cliente. 

On peut evidemment appliquer ce procede et ce dispositif a la simulation d'une image 
esthetique d'un visage, a partir d'une simple photographie noir et blanc ou couleurs, 
permettant d'effectuer, a partir de la numerisation de cette photographie par un scanner de 
haute definition, des portraits photographiques d'un sujet en amdiorant Festhetique de ce 
visage par des techniques capiil aires et de maquillage, Testorapage ou la rectification de 
certains defeats anatomiques, le changement de la couleur cutanee (bronzage), dans ce cas 
la base de donnees correspondant a la simulation esthetique du visage est completee par une 
collection de regies d'esthetique concernant le maquillage, la coiffure, les techniques 
capillaire, la texture de la peau, et/ou la chirurgie plastique permettant aina de traher 
simultanement le visage et la partie capillaire d'un sujet pour editer et restituer une nouveUe 
image valorisante et tdeale. 
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Les applications 

On contort facilement que ce systeme peut recevoir de tres nombreuses applications eo 
enrichissant la base de donnees utilisee par le systeme expert en mettant en oeuvre des 
donnees specifiques de Implication concernee : 

En lunetterie 

Le dispositif selon invention permet, a l'opticien tunetier, d'aider a faire le choix d\ine 
meilleure esthetique en facilitant la superposition de differentes montures de hinettes ou de 
differentes lentilles de couleurs sur un visage. 

Cene application pouvant etre mise en oeuvre directement avec le systeme conforme a 
Pinvention, Implication a la technique de la lunetterie ou des instruments cfoptiques peut 
etre directement inchise dans le trait eraent du visage. 

La base de donnees correspondant a la simulation esthetique du visage est completee par 
une collection de regies d'esthetique concernant les montures de lunettes et les instruments 
d'optiques (lentilles de couleurs etc.) pennettant ainsi de tracer simultanement le visage et 
de superposer differentes montures de lunettes de maniere adequate ou differentes lentilles 
de couleurs sur ce visage. 

En securite 

Le systeme sdon ['invention pennettant de reconnaitre a coup sur le visage dW personne 
connue, peut etre utilise pour commander un systeme d'ouverture. La base de donnees est 
enrichie d'informations correspondants a tous les traits caracteristiques d*un ou phisieurs 
visages connues permettant de reconnaitre a coup sur le visage d'une personne dhe 
autorisee. 

Le systeme selon Invention permet egalement de reconnaitre un visage parDdlement 
masque ou total ement masque par un tissu et de le comparer a une base de donnees de traits 
caracteristiques d\in visage, et ceci quelque soit son orientation. Un systeme de 
reconstruction 3D a partir damages 2D dont ('orientation est inconnue pennettant la 
reconstruction du fades et sa representation face et profil pour comparison avec un fichier. 
La base de donnees est enrichie d'informations correspondants a tous les traits 
caracteristiques de visages permettant de reconstruire un facies de face et de profil. A cette 
base de donnee est associee une autre base de donnee contenant des visages de personnes 
qui permettront leur comparaison avec le facies reconstnih de face et de profil. 

En Photographic numerique 

Le systeme selon Tinvention permet lors dune photographie effectuee en cabine de 
photographie numerique d'ameliorer l'esthetique et valoriser V image d*un sujet. La base de 
donnees correspondant a la simulation esthetique du visage est completee par une collection 
de regies d'esthetique concernant le maquiilage, la coifiiire, les techniques ca pill aires et la 
texture de la peau pennettant ainsi de traiter simultanement le visage, la partie capiHaire d*un 
sujet pour editer des photographies valorisantes pour le client. 

En traitement de photographie 

Le systeme selon rmvention permet a partir d*une photographie du visage d*un sujet, fourni 
sur support photographique classique en noir et blanc ou en couleurs, apres avoir ete 
scannerise par un appareil de numerisation, d'etre retouche et ameliore esthenquement. La 
base de donnees correspondant a la simulation esthetique du visage est completee par une 
collection de regies d'esthetique concernant le maquiilage, la coiffure, les techniques 
capillaires et la texture de la peau permettant ainsi de traiter simultanement le visage, la 
partie capillaire d*un sujet pour editer des portraits valorisants. 



7 



2728982 



En technique de remise en Tonne 

On petit ainsi visualiser a partir de I'image de Tanatomie existante du corps a traher, les 
modifications a y apporter (elimination du tissus adipeux abdominal, musculation de la paroi 
abdominal, etc.) de sorte que la base de donnees du systeme expert est enrichie de regies 
concernant I'ensemble des techniques de la culture physique, les regimes alimentaires et les 
differentes methodes de musculation. 

En dennatologie 

L'emploi d'un systeme expet du traitement de Timage cutanee en couleur permet un 
nouveau devdoppement en quantifiant et qualifiant Petal de la peau grace aux analyseurs de 
texture et de la distribution des couleurs. 

En particulier, le systeme d'acquisition et de traitement d' images associe a un systeme 
expert permet de realiser un modele dlaide au diagnostic et de suggerer la nature du 
traitement a eflFectuer (pommade ect ) 

En outre, le dispositif permet au dermatologur d'apprecier plus facilement revolution de 
-J* affection et de constater sans difficulte les changements de coloration des taches cutanees 
suscepribles de se canceriser, les naevi les cicatrices en evolution, les escarres, les troubles 
vasomoteurs, les affections des muqueuses etc. 

La base de donnees du systeme expert est enrichie d* informations correspondants a un 
ensemble d'affectations, accompagnees d'exemples des tnutements permettant de suggerer 
la nature du traitement a effectuer. 

En chirurgie plastique 

On peut ainsi visualiser a partir de Tanatomie existante du corps ou du visage a traher, les 

modifications a y apporter telles qu'un lifting, une rectification du ncz une transformation du 

maxillaire, une rectification du bee de lievre, la disparition de la culotte de cheval etc. 

La base de donnees du systeme expert est enrichie de regies concernant Tanatomie. 

Le logiciel simule alors les modifications a apporter, ainsi que Taspect flrtur du visage ou de 

la partie du corps traitee. 

Apres cicatrisation, cette derniere image doit etre comparee au resuhat obtenu afin de voir 
s'il y a encore lieu de proceder a quelques rectifications complementaires. 

En coifffurr et en techniques capillaires 

Le dispositif selon 1'invention permet d'aider a faire le choix d'une meilleure esthetique en 
facilrtant la superposition de differents types de coiflures et de differentes coloration de 
cheveux sur un visage. La technique capillaire peut etre direaement incfuse dans le 
traitement du visage. 

La base de donnees du systeme expert correspondant a la simulation esthetique du visage 
est cpmpletee par une collection de regies tfesthetique concernant la coiffiire et la couleur 
des cheveux permettant ainsi de traiter simultanement le visage et la partie capillaire d*un 

sujet. 

En morpbopsychologie 

Le dispositif selon Pinvention permet d'observer et de « lire » avec minutie un visage, les 
rides et les ridules, 1'equilibre entre la partie superieure et mferieure, la taille et la forme du 
nez, du lobe des oreilles et des commissures des levies, etc 7 ainsi il est possible de decder 
et de determiner la personnalite d'autrui. 

Cette application pouvant etre mis en oeuvre direct ement avec le systeme sdon r invention- 
La base de donnees du systeme expert est enrichie d'un ensemble de techniques 
correspondants a r observation des visages complete par celles des psychologues, des 
psychiatres et des anatomist es dans ce domaine 
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1. Procede de simulation de Timage esthetique ideaie a partir de Timage photographique 
numerique en couleurs dun visage reel, caracterise en ce qu'apres une segmentation de 
Timage, on procede au cours d'une premiere phase d'acquisition a la determination des 
traits caracteristiques fins du visage et de sa structure cutanee puis au cours d'une phase 
de transformation, on procede d'une part a Tarnelioration esthetique des traits 
caracteristiques de Timage initiate et d'autre part a la modification de certaines des 
couleurs de la structure cutanee, en fonction des criteres de selection, determines par un 
systeme expert de classe zero + anime par un moteur d'inference en s'appuyant sur une 
base de donnees enrichie de plusieurs milliers de combinaisons de formes et d'harmonies 
de couleurs. 

2. Procede suivant la revendication (I), caracterise en ce qu!apres avoir determine les 
histogrammes des niveaux de couleurs des segments du visage, on procede suivant le 
programme du systeme expert a une reconnaissance des structures du visage en 
recherchant suivant deux directions privilegiees les lieux de discontinuity des 
histogrammes des niveaux de couleur 

3 Procede selon les revendications (I) et (2), caracterise en ce que la reconnaissance des 
contours et de Timage est obtenue par Tanalyse des couleurs ou des niveaux de gris 
equivalents corTespondant a chaque segment elementaire de Timage. 

4. Dispositif de simulation electronique d'une image esthetique selon la revendication (I) 
comprenant un systeme informatique dispose dans une cabine ou sur une console, au 
moins un appareil de photographic numerique en couleurs dote de spots lumineux, un 
ecran couleur, au moins une imprimante et enfin un lecteur enregistreur de carte optique, 
caracterise en ce que le systeme informatique assurant le traitement de Timage cornprend 
un ordinateur dote d'un disque dur d'une capacite egale au moins a 420 MO, associe a 
un lecteur de disque du type « CD ROM » et en ce que les appareils de photographie 
numerique en couleurs permettent d'obtenir au cours d'une premiere phase une 
photographie reelle numerique en 256 couleurs de Timage reefle d'origine, tandis que 
Timage esthetique transformee suivant les criteres de decision du systeme expert zero + 
est aJTichee sur un ecran en couleurs a haute definition. 

5 Dispositifs selon la revendication (5) caracterise en ce que apres Taffichage de T image 
transformee sur un ecran couleur, Timprimante a jet d'encre fournit une photographie a 
256 niveaux de gris, puis une deuxieme imprimante a sublimation thermiquc, a jet 
d T encre ou au laser proceJe a Timpression d'une seconde photographie en 256 couleurs 
de format A4. 



6 Procede et dispositif de simulation d'une image selon les revendications (5) et (6) 
applique a la chirurgie plastique permettant a lui apporter sous forme d'un lifting, d'une 
rectification de nez, de la disparition de la culotte de cheval caracterise en ce que la base 
de donnees associee au systeme expert est enrichie de regies concernant Tanatomie et la 
technique chirurgicale correspondante. 
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